Phí Y là người Mãnh Huyện thuộc Giang Hạ (江夏, ngày nay là phía đông Hồ Bắc). Ông mồ côi cha sớm, được người chú họ là Phí Bá Nhân (費伯仁) cưu mang. Phí Bá Nhân là anh em con cô con cậu với châu mục Ích châu (益州, ngày nay là Tứ Xuyên và Trùng Khánh) là Lưu Chương, vì vậy khoảng năm 211 Chương mời Bá Nhân về Ích châu, Phí Bá Nhân liền đưa Phí Y cùng đi. Lưu Bị đánh Ích châu, Phí Y ở lại trong vùng, cùng với Hứa Thục Long và Đổng Doãn trở thành các nhân sĩ có tiếng.[1]

Con của Hứa Tĩnh chết, Phí Y và Đổng Doãn đến dự tang. Cha của Đổng Doãn là Đổng Hòa cấp cho một cái xe hươu kéo để đi, trong khi các tôn khách khác đều ngồi xe sang trọng. Đổng Doãn cảm thấy xấu hổ ngại ngùng, riêng Phí Y vẫn điềm tĩnh, cư xử như thường. Đổng Hòa biết việc ấy, rất tán thưởng Phí Y.[2]

Lưu Bị lập Lưu Thiện làm thái tử, cho Y và Doãn làm xá nhân của thái tử, sau cả hai lại theo hầu với con kế của Bị. Lưu Thiện kế ngôi vua, cho Phí Y làm Hoàng môn thị lang. Khi thừa tướng Gia Cát Lượng bình định Nam Trung trở về kinh, Phí Y cùng bá quan ra đón, được Gia Cát Lượng cho ngồi chung xe, từ đó mọi người đều kính nể Phí Y.[3]